在这项工作中,我们介绍了RITA:蛋白质序列的自回归生成模型套件,具有多达12亿个参数,对属于Uniref-100数据库的2.8亿次蛋白质序列进行了培训。这种生成模型具有极大加速蛋白质设计的希望。我们对蛋白质结构域中自回旋变压器的模型大小进行的能力大小进行了首次系统研究:我们在下一个氨基酸预测,零摄像及适应性和酶功能预测中评估RITA模型,从而显示出增加的量表。我们公开发布丽塔模型,以使研究界受益。
translated by 谷歌翻译
Machine learning models are now able to convert user-written text descriptions into naturalistic images. These models are available to anyone online and are being used to generate millions of images a day. We investigate these models and find that they amplify dangerous and complex stereotypes. Moreover, we find that the amplified stereotypes are difficult to predict and not easily mitigated by users or model owners. The extent to which these image-generation models perpetuate and amplify stereotypes and their mass deployment is cause for serious concern.
translated by 谷歌翻译
前列腺活检和图像引导的治疗程序通常是在与磁共振图像(MRI)的超声指导下进行的。准确的图像融合依赖于超声图像上前列腺的准确分割。然而,超声图像中降低的信噪比和工件(例如,斑点和阴影)限制了自动前列腺分割技术的性能,并将这些方法推广到新的图像域是本质上很难的。在这项研究中,我们通过引入一种新型的2.5D深神经网络来解决这些挑战,用于超声图像上的前列腺分割。我们的方法通过组合有监督的域适应技术和知识蒸馏损失,解决了转移学习和填充方法的局限性(即,在更新模型权重时,在更新模型权重时的性能下降)。知识蒸馏损失允许保留先前学习的知识,并在新数据集上的模型填充后降低性能下降。此外,我们的方法依赖于注意模块,该模块认为模型特征定位信息以提高分割精度。我们对一个机构的764名受试者进行了培训,并仅使用后续机构中的十个受试者对我们的模型进行了审核。我们分析了方法在三个大型数据集上的性能,其中包括来自三个不同机构的2067名受试者。我们的方法达到了平均骰子相似性系数(骰子)为$ 94.0 \ pm0.03 $,而Hausdorff距离(HD95)为2.28 $ mm $,在第一机构的独立受试者中。此外,我们的模型在其他两个机构的研究中都很好地概括了(骰子:$ 91.0 \ pm0.03 $; hd95:3.7 $ mm $ and Dice:$ 82.0 \ pm0.03 $; hd95 $; hd95:7.1 $ mm $)。
translated by 谷歌翻译
许多可解释性工具使从业人员和研究人员可以解释自然语言处理系统。但是,每个工具都需要不同的配置,并提供不同形式的解释,从而阻碍了评估和比较它们的可能性。原则上的统一评估基准将指导用户解决中心问题:哪种解释方法对我的用例更可靠?我们介绍了雪貂,这是一个易于使用的,可扩展的Python库,以解释与拥抱面枢纽集成的基于变形金刚的模型。它提供了一个统一的基准测试套件来测试和比较任何文本或可解释性语料库的广泛最先进的解释器。此外,雪貂提供方便的编程摘要,以促进新的解释方法,数据集或评估指标的引入。
translated by 谷歌翻译
本文使用JACAMO框架提供了多代理系统(MAS)的运行时验证(RV)方法。我们的目标是为MAS带来一层安全性。该层能够在系统执行过程中控制事件,而无需在每个代理的行为中进行特定的实现来识别事件。MAS已在混合智能的背景下使用。这种使用需要软件代理与人类之间的通信。在某些情况下,通过自然语言对话进行沟通。但是,这种沟通使我们引起了与控制对话流有关的关注,因此代理可以防止讨论主题的任何变化可能会损害其推理。我们证明了一个监视器的实施,该监视器旨在控制MAS中的对话流,该对话流通过自然语言与用户沟通以帮助医院病床分配的决策。
translated by 谷歌翻译
仇恨言语检测模型通常在持有的测试集上评估。但是,这有可能因为仇恨言语数据集中越来越有据可查的系统差距和偏见,因此绘制模型性能的不完整且潜在的误导性图片。为了实现更多针对性的诊断见解,最近的研究引入了仇恨言语检测模型的功能测试。但是,这些测试目前仅针对英语内容,这意味着它们无法支持全球数十亿语言所说的其他语言中更有效模型的开发。为了帮助解决这个问题,我们介绍了多语言Hatecheck(MHC),这是一套用于多语言仇恨言语检测模型的功能测试。 MHC涵盖了跨十种语言的34个功能,这比任何其他仇恨语音数据集更多。为了说明MHC的效用,我们训练和测试了高性能的多语言仇恨语音检测模型,并揭示了单语和跨语性应用的关键模型弱点。
translated by 谷歌翻译
在联邦设置中接受培训的模型通常会遭受降解的表演,并且在概括方面失败,尤其是在面对异质场景时。在这项工作中,我们通过损失和黑森特征光谱的几何形状的镜头来研究这种行为,将模型缺乏概括能力与溶液的清晰度联系起来。通过先前的研究将损失表面和概括差距连接起来的动机,我们表明i)在本地培训客户,以清晰感最小化(SAM)或其自适应版本(ASAM)和II)平均随机重量(SWA)服务器端可以基本上改善联合学习的概括,并帮助弥合差距,以中央集权模型。通过在具有均匀损失均匀损失的社区中寻求参数,该模型会收敛于平坦的最小值及其泛化,从而在均质和异质情况下都显着改善。经验结果证明了这些优化器在各种基准视觉数据集(例如CIFAR10/100,Landmarks-User-160K,IDDA)和任务(大规模分类,语义分割,域概括)中的有效性。
translated by 谷歌翻译
语义细分对于使自动驾驶车辆自动驾驶至关重要,从而使他们能够通过将单个像素分配给已知类别来理解周围环境。但是,它可以根据用户汽车收集的明智数据运行;因此,保护​​客户的隐私成为主要问题。出于类似的原因,最近将联邦学习作为一种新的机器学习范式引入,旨在学习全球模型,同时保留隐私并利用数百万个远程设备的数据。尽管在这个主题上进行了几项努力,但尚未明确解决语义细分中联合学习在迄今为止驾驶的挑战。为了填补这一空白,我们提出了FedDrive,这是一个由三个设置和两个数据集组成的新基准,其中包含了统计异质性和域概括的现实世界挑战。我们通过深入的分析基于联合学习文献的最新算法,将它们与样式转移方法相结合以提高其概括能力。我们证明,正确处理标准化统计数据对于应对上述挑战至关重要。此外,在处理重大外观变化时,样式转移会提高性能。官方网站:https://feddrive.github.io。
translated by 谷歌翻译
Federated Learning (FL) allows training machine learning models in privacy-constrained scenarios by enabling the cooperation of edge devices without requiring local data sharing. This approach raises several challenges due to the different statistical distribution of the local datasets and the clients' computational heterogeneity. In particular, the presence of highly non-i.i.d. data severely impairs both the performance of the trained neural network and its convergence rate, increasing the number of communication rounds requested to reach a performance comparable to that of the centralized scenario. As a solution, we propose FedSeq, a novel framework leveraging the sequential training of subgroups of heterogeneous clients, i.e. superclients, to emulate the centralized paradigm in a privacy-compliant way. Given a fixed budget of communication rounds, we show that FedSeq outperforms or match several state-of-the-art federated algorithms in terms of final performance and speed of convergence. Finally, our method can be easily integrated with other approaches available in the literature. Empirical results show that combining existing algorithms with FedSeq further improves its final performance and convergence speed. We test our method on CIFAR-10 and CIFAR-100 and prove its effectiveness in both i.i.d. and non-i.i.d. scenarios.
translated by 谷歌翻译
生成对抗性网络(GANS)的最新进展导致了面部图像合成的显着成果。虽然使用基于样式的GAN的方法可以产生尖锐的照片拟真的面部图像,但是通常难以以有意义和解开的方式控制所产生的面的特性。之前的方法旨在在先前培训的GaN的潜在空间内实现此类语义控制和解剖。相比之下,我们提出了一个框架,即明确地提出了诸如3D形状,反玻璃,姿势和照明的面部的身体属性,从而通过设计提供解剖。我们的方法,大多数GaN,与非线性3D可变模型的物理解剖和灵活性集成了基于风格的GAN的表现力和质感,我们与最先进的2D头发操纵网络相结合。大多数GaN通过完全解散的3D控制来实现肖像图像的照片拟理性操纵,从而实现了光线,面部表情和姿势变化的极端操作,直到完整的档案视图。
translated by 谷歌翻译